Ilya Sutskever

Google Scholar

️彼は「重要なのは1つだけだ」と言って、2つの円を描いた。1つは大きな円で「教師なし学習」と呼び、その内側にもう1つの円で「強化学習」と書いて「これがAGIだ。他の研究は重要じゃない」と言った

これらの自己回帰生成モデルのトレーニングがデータを圧縮するという数学的な意味が実際にあるのです。直感的に考えれば、なぜそれが機能するかがわかります。データを本当によく圧縮すれば、その中に存在する全ての隠れた秘密を抽出しなければなりません。したがって、それが鍵となるのです。

これは本当にクールでした。なぜなら、教師なし学習にある程度の進展を示し、次の文字の予測、次の何かの予測、つまり圧縮が十分に良ければ、データの中の秘密を発見するという考えを裏付けたからです。これは現在のGPTモデルで見られることです。トレーニングを行うと、人々は「単なる統計的相関関係だ」と言いますが、この時点でその観察がいかに明確であるかがわかるはずです。

教師なし学習の難しい部分は、データをどこから得るかということよりも、なぜそもそもそれを行うべきなのか、なぜわざわざ取り組むべきなのかということでした。次のトークンを予測するようにこれらのニューラルネットワークをトレーニングすることが、全く価値のある目標であることに気づくのが難しかったのです。そ

しかし、センチメントニューロンの研究、そしてアレック・カトフォードという人物が多くの進歩に責任を持っていたことを強調したいのですが、この研究はGPT-1の前身であり、私たちの考え方に大きな影響を与えました。

https://www.youtube.com/watch?v=Yf1o0TQzry8

https://www.youtube.com/watch?v=9iqn1HhFJ6c

https://www.youtube.com/watch?v=13CZPWmke6A

https://www.youtube.com/watch?v=SEkGLj0bwAU

https://www.youtube.com/watch?v=1yvBqasHLZs&t=671s

Ilya Sutskever: OpenAI メタ学習とセルフプレイ | MIT 汎用人工知能 (AGI)

https://www.youtube.com/watch?v=9EN_HoEk3KY&t=230s